Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention
潜在稀疏注意力：面向亚二次超长上下文注意力
🧭 高效注意力 · 超长上下文
提出潜在稀疏注意力 LSA，通过可学习层次聚类实现超长上下文亚二次注意力且保持精度
📌 工作参考价值（4 点）
- 长上下文 Agent 会话/记忆管理可借鉴：电商导购、客服等 Agent 维护超长多轮历史时，用 learned latent space 对 keys 做层次聚类，query 只打分聚类中心，大幅降低 decode 阶段的 KV cache 访问与计算，适合在线低延迟场景。
- 已有预训练模型不想重训的情况下，D-LSA 蒸馏提供低成本升级路径：仅在注意力层增加分层聚类索引，用原模型蒸馏对齐，可离线验证精度损失后逐步上线。
- 若从零训练或大规模训练长上下文模型，N-LSA 原生训练同时降低训练与推理成本（128k tokens 单层训练 1.6x），对自建基础模型或微调有参考价值。
- 局限与注意：方法依赖键空间聚类稳定性，电商推荐中商品/query 分布快速变化，需评估索引重建频率与召回误差；目前验证集中于语言模型，迁移到推荐特征需要额外实验。